Rittenhouse sinh ra trong một ngôi làng nhỏ trong Philadelphia gọi Rittenhousetown. Làng này nằm gần Germantown, dọc theo dòng Paper Mill Run, mà là một nhánh nhỏ của Wissahickon Creek.Khi chú của ông qua đời, Rittenhouse thừa hưởng bộ các công cụ làm mộc và sách hướng dẫn của ông chú. Sử dụng các công cụ chú của mình, cậu bắt đầu sáng chế. Cũng ở độ tuổi trẻ, Rittenhouse cho thấy mình có trí thông minh cao khi tạo ra một mô hình vận hành của nhà máy giấy của ông nội. Cậu đã tự học và cho thấy khả năng tuyệt vời về khoa học và toán học.